Route Anything: A Study of Model and Policy Routing for General-Purpose AI Systems
路由任意：通用AI系统模型与策略路由研究
🧭 模型路由 · 多模态质量成本权衡
National University of Singapore, HPC-AI Lab · InfRec, Cardinal AI Lab · University of California, Berkeley · Hong Kong University of Science and Technology
构建覆盖25个基准374k轨迹的omni-modal路由框架，证明学习路由器超最佳固定候选并提升效率8.82倍
📌 工作参考价值（4 点）
- 在推荐/搜索系统中维护多个候选模型（如轻量双塔、深度交叉、LLM排序器），训练一个轻量路由器（小型MLP或XGBoost）基于用户/物品特征、上下文及模型置信度动态选择，论文证明输入信息充分时学习路由器接近oracle上限，同时平均效率提升8.82倍。
- 搭建离线路由评估流程：对历史流量样本离线运行全部候选模型，记录质量分与延迟/成本，形成trajectory matrix，再训练路由器，可安全评估新模型加入后的整体收益，避免直接全量替换风险。
- 将路由用于Agent工具/策略选择：在电商对话助手中，根据用户query意图、语义和上下文路由到不同工具链或生成策略，降低昂贵LLM调用次数同时保持质量。
- 关注路由器输入特征设计：理论表明路由器可获得的信息决定可达性能，实用中可加入模型预测分布熵、历史表现等信号，而不只是原始输入特征。